大型视觉基础模型在自然图像上的视觉任务上取得了重大进展，在这种情况下，视觉变压器是其良好可扩展性和表示能力的主要选择。但是，在现有模型仍处于小规模的情况下，遥感社区（RS）社区中大型模型的利用仍然不足，从而限制了性能。在本文中，我们使用约1亿个参数求助于普通视觉变压器，并首次尝试提出针对RS任务定制的大型视觉模型，并探索如此大型模型的性能。具体而言，要处理RS图像中各种取向的较大图像大小和对象，我们提出了一个新的旋转型尺寸的窗户注意力，以替代变形金刚中的原始关注，这可以大大降低计算成本和内存足迹，同时学习更好的对象通过从生成的不同窗口中提取丰富上下文来表示。关于检测任务的实验证明了我们模型的优越性，超过了所有最新模型，在DOTA-V1.0数据集上实现了81.16 \％地图。与现有的高级方法相比，我们在下游分类和细分任务上的模型结果也证明了竞争性能。进一步的实验显示了我们模型对计算复杂性和几乎没有学习的优势。代码和模型将在https://github.com/vitae-transformer/remote-sensing-rvsa上发布
translated by 谷歌翻译
自我监督学习的快速发展降低了从大量未标记的数据中的条形学习特征表示形式，并触发了一系列有关遥感图像的变更检测的研究。从自然图像分类到遥感图像的自我监督学习的挑战是从两个任务之间的差异引起的。对于像素级的精确更改检测，学习的补丁级特征表示不满意。在本文中，我们提出了一种新颖的像素级自我观察的高光谱空间传播理解网络（HyperNet），以完成像素的特征表示，以有效地进行高光谱变化检测。具体而言，不是斑块，而是整个图像被馈入网络，并且通过像素比较多个颞空间光谱特征。提出了一个强大的空间光谱注意模块，而不是处理二维成像空间和光谱响应维度，而是提出了一个强大的空间光谱注意模块，以探索分别分别的多个颞高光谱图像（HSIS）的空间相关性和判别光谱特征。仅创建并被迫对齐双期HSI的同一位置的正样品，旨在学习光谱差异不变的特征。此外，提出了一种新的相似性损失函数，以解决不平衡的简单和硬阳性样品比较的问题，其中这些硬样品的重量被扩大并突出显示以促进网络训练。已经采用了六个高光谱数据集来测试拟议的HyperNET的有效性和概括。广泛的实验表明，在下游高光谱变化检测任务上，HyperNET优于最先进的算法。
translated by 谷歌翻译
给定空中图像，空中场景解析（ASP）目标，以解释图像内容的语义结构，例如，通过将语义标签分配给图像的每个像素来解释图像内容的语义结构。随着数据驱动方法的推广，过去几十年通过在使用高分辨率航空图像时，通过接近基于瓦片级场景分类或分段的图像分析的方案来解决了对ASP的有希望的进展。然而，前者的方案通常会产生瓷砖技术边界的结果，而后者需要处理从像素到语义的复杂建模过程，这通常需要具有像素 - 明智语义标签的大规模和良好的图像样本。在本文中，我们在ASP中解决了这些问题，从瓷砖级场景分类到像素明智语义标签的透视图。具体而言，我们首先通过文献综述重新审视空中图像解释。然后，我们提出了一个大规模的场景分类数据集，其中包含一百万个空中图像被称为百万援助。使用所提出的数据集，我们还通过经典卷积神经网络（CNN）报告基准测试实验。最后，我们通过统一瓦片级场景分类和基于对象的图像分析来实现ASP，以实现像素明智的语义标记。密集实验表明，百万援助是一个具有挑战性但有用的数据集，可以作为评估新开发的算法的基准。当从百万辅助救援方面传输知识时，百万辅助的微调CNN模型始终如一，而不是那些用于空中场景分类的预磨料想象。此外，我们设计的分层多任务学习方法实现了对挑战GID的最先进的像素 - 明智的分类，拓宽了用于航空图像解释的像素明智语义标记的瓦片级场景分类。
translated by 谷歌翻译
深度神经网络（DNN）极大地促进了语义分割中的性能增益。然而，训练DNN通常需要大量的像素级标记数据，这在实践中收集昂贵且耗时。为了减轻注释负担，本文提出了一种自组装的生成对抗网络（SE-GAN）利用语义分割的跨域数据。在SE-GaN中，教师网络和学生网络构成用于生成语义分割图的自组装模型，与鉴别器一起形成GaN。尽管它很简单，我们发现SE-GaN可以显着提高对抗性训练的性能，提高模型的稳定性，这是由大多数普遍培训的方法共享的常见障碍。我们理论上分析SE-GaN并提供$ \ Mathcal o（1 / \ sqrt {n}）$泛化绑定（$ n $是培训样本大小），这表明控制了鉴别者的假设复杂性，以提高概括性。因此，我们选择一个简单的网络作为鉴别器。两个标准设置中的广泛和系统实验表明，该方法显着优于最新的最先进的方法。我们模型的源代码即将推出。
translated by 谷歌翻译
瞄准以像素 - 明智的语义类别描述陆地覆盖，遥感图像中的语义分割需要在广大地理位置上描绘不同的分布，这很难通过现有深层模型的架构中的均匀像素的前导路径难以实现。虽然已经设计了几种算法来选择用于自然图像分析的像素 - 方面的自适应前向路径，但它仍然缺乏关于如何获得最佳选择的理论支持。在本文中，我们在参数优化方面提供数学分析，指导我们设计一种称为隐藏路径选择网络（HPS-Net）的方法。借助从额外的迷你分支派生的隐藏变量，HPS-Net能够通过调整现有算法中的特征映射和像素 - 明智的路径选择之间的直接关系来解决无法访问的全球最佳的固有问题。路径选择。为了更好的培训和评估，我们进一步优化并将5级高芬图像数据集（GID-5）扩展为具有15个土地覆盖类别，即GID-15的新型。 GID-5和GID-15上的实验结果表明，所提出的模块可以稳定地提高不同深结构的性能，验证所提出的数学分析。
translated by 谷歌翻译
特征在于巨大的光谱信息，高光谱图像能够检测微妙的变化，并区分各种变化等级以进行变化检测。然而，最近由高光谱二进制变更检测的研究工作不能提供精细的变化课程信息。并且大多数包含用于高光谱多字母变化检测（HMCD）的光谱解密的方法，但忽略了时间相关性和误差累积。在这项研究中，我们提出了一种无监督的二进制变化，用于HMCD的无监督二进制变更导向的高光谱多种子变化检测网络（BCG-Net），其旨在通过成熟二进制改变检测方法提升多种子变化检测结果和解密结果。在BCG-Net中，专为多时间谱解密而设计了一种新型的部分暹罗联合式解密模块，并且开发了由二元变化检测结果的伪标签指导的突破性的时间相关约束，从透视中引导未混合过程变化检测，鼓励不变的像素的丰富更接合，并且改变像素更准确。此外，提出了一种创新的二进制变更检测规则来处理传统规则易受数值的问题。提出了频谱解压过程的迭代优化和变化检测过程，以消除来自解密结果的累积误差和偏置以改变检测结果。实验结果表明，我们所提出的BCG-Net可以在最先进的方法中实现多种多数变化检测的比较甚至出色的性能，并同时获得更好的光谱解密结果。
translated by 谷歌翻译
图像融合技术广泛用于熔断多源遥感图像之间的互补信息。这篇论文首先提出了基于新型剩余循环GaN的新型综合框架提出了一种基于新的综合框架。所提出的网络由前向融合部分和后退退化反馈部分组成。前向部件从各种观察结果产生所需的融合结果;向后退化反馈部分考虑成像劣化过程，并从融合结果中重新生成观察结果。所提出的网络不仅可以有效地熔断均匀而且是异构信息。另外，首次提出了一种异构集成的融合框架，以同时合并多源异质观测的互补异质空间，光谱和时间信息。所提出的异构整合框架还提供了一种可以完成各种融合任务的均匀模式，包括异质的时空熔化，时空融合和异质时空谱 - 时间融合。对两种挑战性的土地覆盖变化和厚云覆盖进行了实验。在实验中使用来自许多遥感卫星的图像，包括MODIS，LANDSAT-8，Sentinel-1和Sentinel-2。定性和定量评估都证实了所提出的方法的有效性。
translated by 谷歌翻译
对于高空间分辨率（HSR）遥感图像，BITEMAREAL PORCHISE的学习始终使用许多成对标记的Bitemeral图像来统治变化检测。但是，成对标签大规模的HSR遥感图像非常昂贵且耗时。在本文中，我们提出了单个暂时的监督学习（StAR），以从新的角度利用不配对图像作为监督信号的对象变化的新角度进行变更检测。星星使我们只能使用\ textbf {未配对}标记的图像训练高准确的更改检测器，并将其推广到现实世界的零位图像。为了评估恒星的有效性，我们设计了一个名为Changestar的简单而有效的变更检测器，可以重复使用Changemixin模块的任何深层语义分割体系结构。全面的实验结果表明，在单个颞监督下，Changestar的表现优于基线，并在偶然的监督下实现了卓越的表现。代码可从https://github.com/z-zheng/changestar获得
translated by 谷歌翻译
最近的研究表明，在高光谱图像（HSI）分类任务中，深度学习算法的巨大潜力。然而，培训这些模型通常需要大量标记的数据。由于针对HSI的像素级注释的收集是费力且耗时的，因此开发算法可以在小样本量的情况下产生良好的性能。在这项研究中，我们提出了一个强大的自我缩放网络（RSEN）来解决这个问题。拟议的RSEN由两个子网组成，包括基本网络和一个集合网络。鉴于标记数据的监督损失以及未经标记的数据的无监督损失，基本网络和整体网络都可以相互学习，从而实现自我启动的机制。据我们所知，提出的方法是首次尝试将自我汇总技术引入HSI分类任务，该任务提供了有关如何利用HSI中未标记数据来协助网络培训的不同观点。我们进一步提出了一种新型的一致性滤波器，以增加自我同步学习的鲁棒性。在三个基准HSI数据集上进行的广泛实验表明，与最新方法相比，所提出的算法可以产生竞争性能。代码可在线获得（\ url {https://github.com/yonghaoxu/rsen}）。
translated by 谷歌翻译
在过去的十年中，由于航空图像引起的物体的规模和取向的巨大变化，对象检测已经实现了自然图像中的显着进展，而不是在空中图像中。更重要的是，缺乏大规模基准已成为在航拍图像（ODAI）中对物体检测发展的主要障碍。在本文中，我们在航空图像（DotA）中的物体检测和用于ODAI的综合基线的大规模数据集。所提出的DOTA数据集包含1,793,658个对象实例，18个类别的面向边界盒注释从11,268个航拍图像中收集。基于该大规模和注释的数据集，我们构建了具有超过70个配置的10个最先进算法的基线，其中已经评估了每个模型的速度和精度性能。此外，我们为ODAI提供了一个代码库，并建立一个评估不同算法的网站。以前在Dota上运行的挑战吸引了全球1300多队。我们认为，扩大的大型DOTA数据集，广泛的基线，代码库和挑战可以促进鲁棒算法的设计和对空中图像对象检测问题的可再现研究。
translated by 谷歌翻译